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Prufungsantrag gem. § 44 PatG ist gestellt 

® Vorrichtung zum Erfassen eines Objekts unter Verwendung eines Differentialbildes 

© Eine Objekterfassungsvorrichtung umfafct einen Abbil- 

dungsabschnitt, einen Extraktionsabschnitt zum Extrahie- 

ren von Randbildern aus Bildsignalen, die vom Abbil- 

dungsabschnitt geliefert werden, einen Bildungsab- 

schnitt zum Bilden eines Differentialbildes zwischen ei- 

nem ersten Randbild, das aus einem Bildsignal extrahiert 

ist, das von einem Objekt zu einem bestimmten Zeitpunkt 

aufgenommen ist und einem zweiten Randbild, das aus 

einem Bildsignal extrahiert ist, das von demselben Objekt 

zu einem spateren Zeitpunkt aufgenommen ist, und einen 

Erfassungsabschnitt zum Erfassen des Objekts auf der Ba- 
sis des Differentialbildes. Mit der Objekterfassungsvor- 
richtung werden in den Randbildern enthaltene bewegte 

Abschnitte eines Hintergrunds eliminiert, um Randbilder 

zu erzeugen, die nur das im wesentlichen bewegte Objekt 
. betreffen. Als ein Ergebnis kann die Information effizient 
, erhalten werden, welche den Zustand, die Position und 
i sonstiges des bewegten Objekts betrifft. 
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Bcschreibung 

Die vorliegcndc Erfindung bclrilTl einc Vorrichtung zum Erfassen eines Objekls. dcssen Bild mil eincr Abbildungsvor- 
nchlung aurgcnoiiiii.cn isl. Insbcsonderc belrifft die Erfindung cine Vorrichtung. die in dcr Eagc isl. ein bcwccles Objekl 
durch Loschen slillsiehcndcr Ahschnillc aus deni Bild eincs Objekls zu crfH.sscn. 

Im Ilinblick darauf, die Sichcrhcit und den Kon.fort von Fahrzeugen, wie z. B. Kraft fahrzeugen, zu crhohen wurdc 
unlangst vorgeschlagen. da6 die Insassenbelegung von Fahrzeugen und der Insassenzusland erfaBt und die Steuerune/ 
Kegelung gemaB der erhaltenen Information durchgefuhrl wird. Ein typisches Beispiel dieser Moglichkeit isl die Steue- 
rung/Regelung einer Airbagvorrichlung, die in ein Fahrzeug eingebaut isl und bei einem ZusammenstoB aklivicrl wird 
I T e r rtorderhch v daB die Airbagvorrichlung in Abhangigkeit von der Anwesenheil oder Abwesenheii eines Insassen' 
ob der In.sasse ein Erwachsener oder cin Kind ist, dcr Ilaltung des Insassen auf dem Sitz, dcr Position des Kopfs des In- 
sassen und andercn Bcdingungcn optimal funklionien. 

Die japanische Oflenlcgungsschrifl Nr. T-Tci 8-268220 beschreibt die Vbrwcndung mehrcrcr Insa.sscncrfassungs.scnso- 
ren in einem Kra tfahrzeug, urn verschicdcnc Insassenzustande zu erfassen. wie z. B. ein siehendes Kind als Insassen und 
eineri Insassen, dcr einc Hand ausstreckl, so daB die Funklion einer Airbagvorrichlung gemaB des erfaB.cn Insassenzu- 
slands gesleuerl/geregelt wird. 

AuBerdem beschreibt die Publikation der gepruften japanischen Patentanmeldung Nr. Hei 5-10084 das Abbilden des 
Kopts des Fahrers eines Kraftfahrzeugs mi. einer CCD- Abbildungs vorrichtung. das Berechnen des Abstands zu einem 
besonderen Punkt, urn die Position der Riickseite des Fahrerkopfs zu bestimmen und das aulon.atische Einstellen der Po- 
sinon einer Kopfstutze, urn die so bestimmle Position der Ruckseite des Fahrerkopfs anzupassen 

Jedoch ist em Problem bei den. obigen Stand der Technik, daB es unmoglich ist. nurdie insassenbezogenen Biidsi- 
gnale aus den nut der Abbildungsvorrichtung erhaltenen Bildsignalen zu extrahieren und daB folglich keine adaquaten 
Inforn.at.onen uber den Zusland, die Position und sonstiges von den Insassen ungeachtet der durchgefuhrten komplizier- 
ten Berechnungen erhalten werden konnen. F 

Eine Aufgabe der vorliegenden Erfindung ist es demgemaB, bewegte Abschnitte eines Bilds aus den mil einer Abbil- 
dungsvornchlung erhaltenen Bildsignalen zu erfassen. 

Einc wcitcrc Aufgabe dcr vorliegenden Erfindung ist cs, cine Objcktcrfassungsvorrichtung bcrcitzustcllcn. wclchc in 
der Lage ist, adaquate Infonnation uber den Zustand von Insassen in einem Fahrzeug auszu°eben 
30 send" 1 ° bi8e " Aufgaben Z " erreichen - ist g e »» aB der Erfindung eine Objekterfassungsvorrichtung voigesehen, umfas- 
ein Abbildungsmittel zum Abbilden eines Objekts; 

ein Extraktionsmittel zum Extrahieren von Randbildern aus Bildsignalen, welche vom Abbildungsmittel geliefert wer- 

ein Bildungsniittel zum Bilden eines Differentialbildes zwischen einem ersten der Randbilder und einem zweiten der 
worden sfna-^nd 516 si8 " alen extrahiert sind > die vom Objekt zu unterschiedlichen Zeitpunkten aufgenommen 

ein Erfassungsmittel zum Erfassen eines Objektzustands auf der Basis des gebildeten Differentialbildes 

GemaB der Objekterfassungsvorrichtung der Erfindung wird die Differenz zwischen den ersten und den zweiten Rand- 
bi dem ' verwendeu wie sie aus Bildsignalen extrahiert sind, die zu unterschiedlichen Zeiten aufgenommen wurden und 
tolghch wird das Bild in den stillstehenden Abschnitten der zwei Bilder eliminiert und nur die bewegten Bildabschnitte 
^ er ^",! X S ° mil WerdCn in de " Randbildern enthaltene Abschnitte des unbewegten Hinteigrunds eliminiert urn 

Randbilder zu erzeugen, die nur das im wesentlichen bewegte Objekt betreffen. Als ein Ergebnis kann die Information 
ethzient erhalten werden, welche den Zustand, die Position und sonstiges des bewegten Objekts betrifft 
Die Erfindung wird im folgenden anhand eines Ausfiihrungsbeispiels naher erlautert. 

Fig. 1 ist ein Blockdiagramm, das die allgen.eine Anordnung einer Insassenzustandserfassungsvoirichtung gemaB ei- 
ner Ausfuhrungsform der Erfindung zeigt; 

Fig. 2(a) und 2(b) sind Photographien, die anstelle von Zeichnungen ein mit einer CCD-Kamera aufgenommenes Bild 
und ein Bild nach der Randextraktion zeigen; 

Fig. 3(a) bis 3(c) sind Photographien, die anstelle von Zeichnungen das Verfahren zum Bilden eines Differentialbildes 
aus zwei Randbildern zeigen; 

Fig. 4 ist ein Diagramm, welches die relativen Positionen einer Kamera und die Ruckenlehne eines Insassensitzes 
zeigt, 

reiche geteilt ^. Phot ° graphie ' die e^er Zeichnung einen Schnittbereich eines Bildes zeigt. der in kleinere Be- 

55 Fig. 6 ist eine Abbildung, welche die Binarverteilung der kleineren Bereiche zeigf 

Berefc'hVgetei" t e isr 10t08raPhie * ^ a " Stelle ei " er ZeichnUtl§ einen « ch ni»bereich eines Bildes zeigt, der in rechteckige 
Fig. 8 ist ein FluBdiagramm, das eine exemplarische Technik zum Bestimmen eines Insassenzustands zeigf 
Fig. 9 ist eine Photographic welche anstelle einer Zeichnung ein weiteres mit der CCD-Kamera aufgenommenes Bild 

erh^t Je°sBird n ^ 0 u^d raPhie ' ^ a " SteUe Zeichnung ein durch Randextraktion aus dem in Fig. 9 gezeigten Bild 

Fig. 1 1 ist eine Photographie, die anstelle einer Zeichnung Markierungen zeigt, welche fur das Erfassen des Kopfs auf 
der Basis des in Fig. 10 gezeigten Bildes standen. y 
65 Eine Ausfuhrungsform der Erfindung wird nun unter Bezugnahme auf die beigefugten Zeichnungen unter Verwen- 
dung einer Insassenerfassungsvorrichtung in beispielsweise einem Fahrzeug beschrieben. Zuerst auf Fig. 1 bezu*neh- 
mend ist die Kamera 1 eine Abbildungsvorrichtung, die typischerweise eine zweidimensionale CCD-Anordnung ver- 
wendet und in dem oberen vorderen Abschnitt der Fahrzeugkabine installiert ist, so daB das Bild eines Fahrers oder eines 
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nebcn dein Fahrer sitzenden Insassen aufgenomnien wird. Urn die Verwendung bei Nacht zu gest.att.en, ist vorzugsweise 
nahe der Kamera 1 eine Infrarollichiquelle vorgesehen, so daB dcr Beobachtungsbereich durch cine Iniraroislrahlung im 
nicht sichtbaren Bereich beleuchtel wird. In diesem Fall ist vorzugsweise ein fur die verwendeie Infrarotstrahlung im we- 
sentlichen durchlassiger Filler vor dcr Kamera vorgesehen. Fur wcitere Details der CCD-Kamera und dcr Infrarotlicht- 
quellc wird auf die oben beschriehene japanische On'enlcgungsschrift Nr. TTei 5-10084 vcrwicsen. 

Die Kamera 1 stelit ein fokussierles Bild auf der CCD-Abbildungsvorrichtung dar und die durch eleklronische Abta- 
stung erhallenen elektrischen Signale werden A/D (analog zu digital) umgewandeit, urn digitale Bildsignale zu erzeugen, 
welche die Gradation von jedeni Pixel in einer vorbeslimmten Zahl von Bits darstellen. In dem betrachteten Beispiel bil- 
del die CCD-Abbildungsvorrichtung Schwarz-WeiB-Bilder, sie kann aber durch eine Farb-CCD- Kamera ersetzt werden. 
In diesem alternativen Fail besteht jedes Pixel aus einer ausreichenden Zahl von Bits, um ein Farbe lenient und die Gra- 
dation darzustellen. 

Ein Bildspeicher 2 spcicherl die digilalen Bildsignale (im lolgenden als "Bilddaten" bezcichnel), welche mil der Ka- 
mera 1 gcbildet wurden. Der Bildspeicher 2 besteht aus einem Halbleilerspeicher, wie B. einem DRAM (dynamischen 
Direktzugriffsspeicher; dynamic random access memory) oder einem SRAM (statischen Direktzugrifisspeicher; static 
random access memory). Er kann durch einen Zweiweg-Speicher (dual port memory) ersetzt werden, der als ein Bild- 
speicher auf dem Mark! ist . 

Ein Randbildextraktionsabschnitl 3extrahiert Bildranderdurch Durchfuhrung mathematischer Operationen an den im 
Speicher 2 gespeicherten Bilddaten. Wahrend verschiedene Techniken bekannt sind, um Bildrander zu extrahieren, wird 
in dem betrachteten Beispiel ein Sobel-Filter (auch als ein Sobel-Operator bekannt) verwendet. Diese Technik umfaBt 
mathematische Operationen mit einer rechteckigen Nachbarschaft bzw. Umgebung von 3x3 Elementen. Kurz gesagt 
werden 3x3 Pixel in den Bilddaten. die aus einem mittleren Pixel und den angrenzenden, benachbarten acht Pixeln 
bestehen, herausgenommen und mit dem in Tabeile 1 gezeigten erst en Sobel-Fiiter einer Produktsumtnenoperation un- 
terzogen, um auf diese Weise ein dem anfanglichen Pixel ^ zugeordnetes Pixel gy zu erzeugen. Dieses Verfahren wird fur 
alle Pixel durchgefuhrt, um das erste trans formierte Bild zu erzeugen. 

Die Produktsummenoperation wird durch die folgende Gleichung ausgedriickt, wobei w(Ai, Aj) den Sobel-Filter aus 
3x3 Elemenlen reprasenliert. Details dieser Operation konnen in "Handbook of Television Image Information Enginee- 
ring hcrausgcgcbcn von "The Institute of Television Engineers of Japan", 1990, Scitcn 398-399 gefunden werden: 
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Eine ahnliche Produktsummenoperation wird mit dem in Tabeile 2 gezeigten zweiten Sobel-Filter durchgefuhrt, um 
das zweite transforrnierte Bild zu bilden. Die Absolutwerte der Pixel in dem ersten transformierten Bild werden zu jenen 
der entsprechenden Pixel in dem zweiten transformierten Bild addierl und auf diese Weise Randbilder produziert. wie sie 
aus den Bilddaten extrahiert sind. Der zweite Sobel-Filter ist der um 90° gedrehte erste Sobel-Filter; der erste Sobel-Fil- 
ter berechnet die Randintensitat in einer vertikalen Richtung und der zweite Sobel-Filter berechnet die Randintensitat in 
einer horizontaien Richtung. 

Tabeile 1 
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Fig. 2(a) zeigt das mit der Kamera 1 aufgenommene Bild eines Kinds, das neben dem Fahrer eines Kraftfahrzeugs 
sitzt. Fig. 2(b) zeigt das durch Durchfuhrung des oben beschriebenen Verfahrens der Randextraktionsoperation an dem in 
Fig. 2(a) gezeigten Bild erzeugte Randbiid. Die Konturen des Kindes, seines Sitzes, der Innenflache der Tur usw. sind 
deutlich zu sehen. 

Das so erhaltene Randbiid wird in einem Pufferspeicher 9 gespeichert. Der Pufferspeicher 9 kann Teil des Bildspei- 
chers 2 sein. Der Randbildextraktionsabschnitt 3 bildet Randbilder mit einer gegebenen Periode, z. B. 33 ms, und spei- 
chert sie in dem Pufferspeicher 9. 

Ein Zeitdifferentialbild-Bildungsabschnitt 4 nimmt den Unterschied zwischen dem in Fig. 3(a) gezeigten momentanen 
Randbiid und dem in Fig. 3(b) gezeigten vorangehenden Randbiid. Das Randbiid der Fig. 3(b) wurde von dem Bild ex- 
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Irahiert das 33 ins vor dein Randbild der Fig. 3(a) aufgenommen wurde 

Das D.fterent.alb.ld zwischen den zwei Randbildem wird durch Verwendung des Unierschicds zwischen don w, rtP „ 

Randb.ldcrn glcch s.nd. Dahcr wcrdcn die Randbilder von jenen Abschnit.cn des Objck.s eliminicr. welch" ohnc Be 

xel E H i . B hT S T^ SabSCh : nitt5 binarisiert die in detn so erhaltenen Differen.ialbild durch Klassifizierung der Pi 

V h r He H jnd ' t WeiBe 1,1X61 (Bi ' ,} Und jener " die dunkler a"di£SweUe 
sina, ais senwarze nxel (Bit 0). Fig. 3(c) zeigt das so binarisierte Differentialbild 

2* h « d,C geSam,e MatdX gemi,teU ist ' Und weist " nul1 " den kleinen Bertfche" zu S ni^SsSe 
ShTL^^ * A- «— Weise wird den *JZ£SZ£ 

wurde. 6 Ze,g ' diC Ma ' riX 20 * U kleine " Bereiche "> de "-n demgemSB entweder "eins" oder "null" zugewiesen 
Befe, n chrrh e "s l !^K SbeS i i TTf abSChni,t 8 teiU die in Fifr 6 8 ezei 8 ,e Ma,ri * in ^ ™ ? gezei gte rech.ecki S e 

-fuLl^F^ : CnlCn T' Um ^ ° bC " bcschricb <- Besti.nn.ung durch- 

Die Zahl der in jedem rechteckigen Bereich zu zahlenden Bits 1 ist vorzugsweise der Durchschnitt der in einer eeee 

kchrt onentterten Ktndersttz oder er folgert, daB der Kindersitz zur Ruckenlehne des Insassensitzes hinzeigt (Schritt 

recSiSn^refehT^R 1 ! ?T ^^S^ ? e f iCh 5 gr5Ber als die im Bereich 4 ist ^ we ™ die Zahl an Bits 1 in, 
TO* U « iSfE? t 8 dle . im Bere,Ch 3 iSt Und wenn die Zahl an Bits 1 ^ Bereich 5 gleich oder kleiner 2 

( i I } - mmen V,Cle Bewe S un gen entfernt von der Ruckenlehne des Sitzes vor und foSSh^SnTdS 
Insassenzustandsbesnnnnungsabschnitt 8 ein stehendes Kind oder er folgert, daB das Kind auf £?£ : stehUSchJia 

SSd^an^ 

zcig.e DifferenUalbild gegeben ist, wird ein bestimmter Bereich, welcher dem Kopf Arn.en oder anderen Te,len £1! 

e r P ^rdi^ 

m P ?ri F r f kt, ° n C,neS ^ ¥ 'f 1 °?™g ten Kopfpositionsbesdmniungsabschnitts 6 wird nun beschrieben Das mil der Ka- 
temoibn und° a !Z e r« Und h ^ 9 geZeig,e BHd Wifd in dem Randbildextraktionsabschnitt 3 der RandexSuon S- 
S„J" SSSSSiSS^-H 1 r rbe . Stimn,ten S ebild ^" Kandbildern wird einlSren- 

hgkeit, sondern auch Randrichtungen (Winkel) zu erzeugen ^sKreiB runKre von Kiidnel- 
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Wahrend die vorliegende Erfindung oben unter besonderer Bezugnahme auf ein spezielles Beispiel beschriebcn 
wurde, sollte angemerkt werden, daB die Erfindung keinesfalls nur auf dieses Beispiel begrenzl ist. 

GemaB der Objekterfassungsvorrichtung der Erfindung werden Abschnilie des Mini erg runds ohne Bewegung, die in 
den Randbildern enthalten sind, eliminicrt, um Randbiider zu crzeugen, welche sich nur auf ein Objekt be/iehen, das im 
wesentlichen in Bewegung isl; folglich kann die Infornialion eflizienl erhahen werden, welche den Zusland, die Position 5 
und sonstiges des bewegten Objekts betrifft. 

Zusammenfassend umfaBt eine Objekterfassungsvorrichtung einen Abbildungsabschnitt, einen Extraklionsabschnitt 
zum Extrahieren von Randbildern aus Bildsignalen, die voni Abbildungsabschnilt geliefert werden, einen Bildungsab- 
schnill zum Bilden eines Ditterentialbikles zwischen einciu ersten Randbiid, das aus einein Bildsignal extrahiert ist, das 
von einem Objekt zu eineni bestimmten Zeitpunkt. aufgenommen isl und einem zweiten Randbiid, das aus einem Bildsi- 10 
gnal extrahiert ist, das von demselben Objekt zu einem spateren Zeitpunkt aufgenommen ist, und einen Erfassungsab- 
schnitt zum Erfassen des Objekts auf der Basis des Differenlialbildes. Mil der Objekterfassungsvorrichtung werden in 
den Randbildern enthaltene unbewegle Abschnitte eines TTinlergrunds eMminierl, uiti Randbiider zu er/.eugen, die nur das 
im wesentlichen bewegte Objekt betrefTen. Als ein Ergebnis kann die Infornialion effizienl erhaiten werden, welche den 
Zustand, die Position und sonstiges des bewegten Objekts betrifft. t5 

Paten tanspriic he 

1 . Objekterfassungsvorrichtung, umfassend: 

ein Abbildungsmitlel zum Abbilden eines Objekts; 20 
ein Extraktionsmittei zum Extrahieren von Randbildern aus Bildsignalen, welche vorn Abbildungsmittel geliefert 
werden; 

ein Bildungsmittel zum Bilden eines Differentialbildes zwischen einem ersten der Randbiider und einem zweiten 
der Randbiider, wie sie aus Bildsignalen extrahiert sind, die voin Objekt zu unterschiedlichen Zeitpunkten aufge- 
nommen worden sind; und " 25 
ein Erfassungsniittel zum Erfassen eines Objektzuslands auf der Basis des gebildeten Differentialbildes. 

2. Objekterfassungsvorrichtung nach Anspruch 1 zur Installation an einem Fahrzcug, wobci das Erfassungsmittcl 
Zustandbestimmungsmittel zum Bestimmen eines Zustands eines Insassen umfaBt. 

3. Objekterfassungsvorrichtung nach Anspruch 1 zur Installation an einem Fahrzeug, wobei das Erfassungsmittel 
Kopfpositionsbestimmungsmittel zum Bestimmen einer Position eines Kopfs eines Insassen aus einer Form des 30 
Differentialbildes umfaBt. 
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